Full-bandwidth transformer
全带宽Transformer：潜在反馈解码提升预训练效率
🧭 LLM 预训练 · 潜在反馈多遍并行 ★ 深度解读
Johns Hopkins University · Princeton University · Microsoft
顶层隐藏状态与token嵌入融合反馈，以近零解码开销换来约1.5–2倍数据效率与更强推理
📌 工作参考价值（4 点）
- 若在电商/搜索的 LLM Reasoner（选品解释、query理解、Agent 规划）中部署生成模型，可将 latent feedback decoding 作为推理期增强：只需把上一步顶层 hidden state 经 GLU 与当前 token embedding 融合后输入，KV cache 和 serving 栈基本不动，每 token 仅多两次 D×D 矩阵乘法；配合少量多遍训练后，在数学/编码/指令任务上稳定提升。
- 把 prompt 预填充作为重点优化对象：对用户画像、历史行为、候选商品的 prompt 先跑 1–2 遍 fused prefill，再进入生成，收益前置于第一个反馈步，验证损失和 5-shot acc 都有明显提升，适合高价值、可接受额外 prefill 成本的推荐 Agent 调用。
- 数据稀缺的领域微调可以参考训练调度：多数步用标准单遍 NTP，后期混入少量两遍/三遍 batch；只需 3% 三遍 batch 即可让反馈映射从发散变收缩，大幅提升长程稳定性；同时用 prefix mixin 对齐训练与推理的 prompt-then-generate 分布。
- 融合设计要强制使用 hidden state：用 GLU 让 hidden state 走 value 通路、token 只作 gate，避免 additive shortcut 让模型退化回普通 token 输入；再加上 RMSNorm、输入输出 embedding 绑定、jitter noise，可在不牺牲标准 decoding 的前提下获得表示质量提升。